Systematic Evaluation of Learning Rate Scheduling Strategies Across Heterogeneous Architectures
异构架构下学习率调度策略的系统评估
🧭 训练超参数：学习率调度策略评估
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany
大规模实验表明 CosineAnnealingWarmRestarts 与 CyclicLR 普遍优于基础衰减，调度选择高度依赖架构
📌 工作参考价值（4 点）
- 训练深度推荐模型（如 CTR 预估、双塔召回）时，可直接用 CosineAnnealingWarmRestarts 或 CyclicLR 作为默认调度，替代阶梯衰减，以提升收敛速度与泛化能力
- 调度器选择应与模型架构绑定：不同结构（DNN、Transformer、DeepFM）对调度敏感度差异大，建议针对具体架构做小规模网格搜索
- 在大规模超参优化中，将学习率调度视为一级超参数，联合基础学习率与调度配置进行自动搜索，可能带来显著收益
- 对于强化学习 Agent 训练，周期性重启学习率（如 CosineAnnealingWarmRestarts）有助于跳出局部最优，可尝试引入到策略梯度或 Q-learning 训练中